# import jieba
#
# test_sentence = '都是'
# print("".join([(x + '/ ') for x in jieba.cut(test_sentence, cut_all=False)]))




import random,time
import jieba
import jieba.analyse
from sys import getsizeof
from utils import get_stopwords, load_dictionary, cut_sentence, generate_ngram

# p = {}
# a = ('0','1','2','3','4','5','6','7','8','9','a','b','c','d','e','f','g','h','i','j','k','l','m','n','o','p','q','r','s','t','u','v','w','x','y','z')
# b = ['台湾', '中', '时', '电子报', '26', '日', '报道', '称', '蔡', '英文', '今日', '一早', '会见', '世卫', '行动', '团', '她', '称', '台湾', '虽然', '无法', '参加', 'WHA', '世界卫生', '大会', '但', '还是', '要', '有', '贡献', '于是', '她', '表示', '要', '捐', '100', '万美元', '给', 'WHO', '对抗', '埃', '博拉', '病毒']
# l = len(b)
# start = time.time()
# for c0 in a:
#     for c1 in a:
#         for c2 in a:
#             for c3 in a:
#                 p[c0+c1+c2+c3]=b[random.randint(0,l-1)]
# print("object p:",type(p).__name__, getsizeof(p))
# print('111 time cost :',time.time()-start)
# start = time.time()
# for key,val in p.items():
#     if random.randint(0,3000000)>2990000:
#         print(val)
# print('2222 time cost :',time.time()-start)


text="生活对我们任何人来说都不容易！我们必须努力，最重要的是我们必须相信自己。 \
我们必须相信，我们每个人都能够做得很好，而且，当我们发现这是什么时，我们必须努力工作，直到我们成功。"

aa = jieba.cut(text)
print(list(aa))

# bb = jieba.analyse.extract_tags(text)
# print(list(bb))
#
#
#
# cc = jieba.analyse.textrank(text)
# print(list(cc))





# seg_list = jieba.cut("他来到了网易杭研大厦")  # 默认是精确模式,【新词识别】：他, 来到, 了, 网易, 杭研, 大厦    (此处，“杭研”并没有在词典中，但是也被Viterbi算法识别出来了)
# print(", ".join(seg_list))